Phùng Nguyên Nhất được đưa vào cung hầu hạ Võ Tắc Thiên. Vì có một lỗi nhỏ, ông bị đuổi ra. Hoạn quan Cao Diên Phúc mang Cao Lực Sĩ về nuôi, từ đó ông đổi sang họ Cao. Do ông có vóc dáng lực lưỡng, cao tới hơn 2 mét[3] nên được đổi tên thành Lực Sĩ. Từ đó mọi người gọi ông là Cao Lực Sĩ.

Thời Võ Tắc Thiên cầm quyền, Cao Lực Sĩ đã có quan hệ qua lại với cháu Võ Tắc Thiên là Vũ Tam Tư. Nhà Đường hồi phục (705), hoàng tử Lý Long Cơ giúp cha là Đường Duệ Tông lấy lại binh quyền. Cao Lực Sĩ toàn tâm toàn ý phục vụ cho Lý Long Cơ.